RUBRIC-ARROW: Alternating Pointwise Rubric Reward Modeling for LLM Post-training in Non-verifiable Domains
RUBRIC-ARROW：交替式评分准则奖励建模，提升非可验证领域LLM后训练
🧭 奖励建模与LLM后训练·评分准则的成对偏好优化
University at Albany · Rutgers University · Purdue University · Emory University · Georgia Institute of Technology
交替训练评分准则生成器与准则条件评判器，以概率评分与成对偏好数据训练点式奖励模型。
📌 工作参考价值（4 点）
- 在电商Agent或推荐解释生成中，可借鉴 rubrics 分解评估：将整体质量拆解为独立准则（如信息准确性、说服力、风格匹配），训练准则条件评判器获得细粒度奖励信号。
- 概率评分规则能减少平局，提供更光滑的奖励分布，适合作为排序或策略优化的目标，比硬布尔聚合更稳定。
- 交替训练生成器与评判器的架构可复用于自动评估流程：业务中可先有粗粒度准则，通过交替优化不断细化准则和评判能力。
- 仅用 pairwise 偏好数据训练 pointwise 奖励模型，降低人工标注绝对分数的成本；对于成对偏好易得的场景（如用户 A/B 选择），可直接复用此方法。